2024年非结构化数据管理的4大变革方式
在良莠不齐的经济环境、时局动荡或稳定的情况下，一个不变的事实是，我们依赖着主要是非结构化数据以及从庞大数据收集中获得的分析。非结构化数据包括企业现在所使用的文件、图像、音频和视频文件、传感器数据以及研究数据。
想象一下，利用监控和警用摄像机视频，再加上快速的DNA分析，可以更快地解决犯罪问题；通过供应链分析预测核心产品和服务的可用性；基于传感器的土壤和天气条件分析提高农作物产量；或者通过分析客户支持电话来改进产品和体验。
如今，生成式AI及其潜在的社会利益和风险已经引发了广泛关注，构成了一个备受关注的议题。在数据经济中，信息技术专业人员是至关重要的角色，他们负责管理数据、存储、保护以及向用户和应用提供数据。实际上，根据《2023年非结构化数据管理状况》调查报告，为AI做准备被认为是首要的数据存储关注点，其次是云成本的优化。
随着2024年的到来，企业在成本压力下需要依靠创新和智能化的AI工作来提高效率。数据存储和备份占据了IT预算的至少30%。我们的预测将重点放在优化AI和云技术的数据管理部分。通过妥善处理这一点，结合生成式AI释放新时代的终端用户生产力和技术熟练度，将产生深远的影响。
1. 多层次的AI数据治理策略
我们对IT决策者的调查发现，企业正在限制员工能够使用的工具和/或数据。这是一个重要的初步措施，但AI数据治理需要一个战略性的规划。
生成式AI已经带来了从隐私和安全到数据泄露、透明度、准确性、伦理等方面的众多风险。与其依赖单一系统来解决这些问题，IT部门将需要部署多层次的AI安全工具，从网络层面开始，以防止AI工具或用户访问受限数据，或者将企业数据发送给未经授权的AI服务。
第二层保护位于数据层面，对数据的移动进行审计，包括移动的时间、移动者以及是否正在共享个人可识别信息（PII，Personally Identifiable Information）或敏感数据。一旦发现这些情况，应立即发出警报。最后，安全机制也可以存在于用户层面，当用户使用企业或敏感数据进行操作时，系统应发出警告，或者在操作可能泄露过多企业信息时提供反馈。深入了解混合云存储中的非结构化数据资产对于保护数据和监控生成式AI项目至关重要。
2. 云迁移的FinOps专业知识
根据行业研究，管理云服务费用是企业面临的主要挑战之一，许多企业对云服务费用或如何优化这些开支缺乏足够的了解。总体来说，数据量仍在迅速增长，超出了存储容量的增长速度。IT领导者需要寻找具有成本效益的存储解决方案，例如云对象存储，以应对数据增长带来的挑战。
根据我们的调查，尽管在2022年有27%的企业管理了10PB或更多的数据，但今年，这个拥有大量数据的群体已经激增到了惊人的32%。这其中存在大量的浪费，包括过度采购存储容量以避免任何业务中断，以及云资源的低利用率和一刀切的存储策略。
将财务运营融入日常实践是实现云数据迁移的价值和投资回报的关键因素。在2024年，IT部门需要在迁移项目之前和之后了解数据存储成本和数据使用模式，并将这些度量标准清晰地与高级管理层沟通，以获得对云的支持。
采用以分析为导向的非结构化数据管理方法的企业可以避免云资源的浪费。在迁移之前，他们能够删除重复和废弃的数据以及不再需要的数据，并将数据正确地放置在适当的云层级。这种分析应该明确区分云存储的不同层级，并采用自动化流程，随着时间的推移将数据转移到低成本存储，以实现最大的成本节省。
3. 存储从业者的跨领域技能
在2024年，存储架构师将开始使用FinOps这一术语。随着存储逐渐转向以软件和服务为中心，对硬件的管理需求降低。相反，存储专业人员将花费更多时间管理供应商、合同，并向各部门和用户提供安全、经济高效的数据服务。企业也将逐渐摆脱成为单一供应商的依赖。存储管理员需要具备在不同技术之间灵活转换的能力，而非只精通一个平台。
这需要更广泛的技能和知识，包括网络、安全、云架构、成本建模和数据分析。新的数据职称，如“数据洞察工程师”或“数据管理架构师”将逐渐取代传统的存储职务名称。在成熟的基础设施团队中，负责存储的经理将与数据科学和AI团队合作，采购适用于AI的基础设施，并制定数据分类和数据工作流程计划，以适应分析平台的需求。
4. 面向AI的非结构化数据
在完成成本优化和AI数据治理策略后，IT企业已经处于一个有利的地位，可以将重心放在如何利用非结构化数据进行新应用开发上。非结构化数据在AI领域中具有巨大的潜在价值。
IT领导者将寻求自动化的方法来分析非结构化数据、提取元数据，并利用AI和机器学习来丰富和分类数据。这将使团队能够进行深入的数据分析，只筛选出适合AI应用的数据，从而大大减少研究人员和数据科学家的工作量。
---【本文完】---
近期受欢迎的文章：
我们正处于数十年未见之大机遇中
新技术爆发式发展，催生新产品
然而，颠覆式创新并非简单的技术堆叠
而是异常复杂的系统工程
需要深度洞察
欢迎一起分享思考和见解